#Normalizing Flows

3 篇

Flow-based Spectral Kernel Learning for Nonstationary Attention

基于流的谱核学习用于非平稳注意力

🧭 注意力核学习 · 线性注意力

The University of Hong Kong · National University of Singapore · Universidad Carlos III de Madrid

FSKA 用归一化流学习非平稳注意力核，移除 QK 投影并固定正交 V 投影，减少参数 40-47% 且保持线性注意力

📌 工作参考价值（4 点）

在电商用户行为序列 Transformer 中可替换标准 softmax 注意力为 FSKA：线性注意力内存扩展适合处理长点击/购买序列，避免截断，尤其适合用户长期兴趣建模。
投影参数减少 40-47% 的思路可直接用于压缩 CTR/CVR 或 Agent 策略网络的 Transformer 层：移除 query/key 投影、使用固定正交 value 投影，能降低参数量和过拟合风险，适合中小规模业务数据。
可学习的非平稳核比固定 softmax/RBF 更灵活，可适应行为序列中时间间隔、事件类型等异构 token 交互；其谱密度正则化方式可迁移到其他基于内积的匹配或聚合层。
注意论文聚焦通用序列建模，在推荐/广告数据上的效果需自行验证；更偏组件级参考而非端到端推荐算法。

LLM | 2026-10-21 | stat.ML | score 6/10

LSF-SR：基于流式条件变分自编码器的序列推荐潜在语义融合

🧭 序列推荐 · LLM 语义融合 ★ 深度解读

National Yang Ming Chiao Tung University · National Chung Hsing University

用流式 CVAE 融合协同 ID 与 LLM 语义，缓解分布错位并提升长尾推荐

📌 工作参考价值（4 点）

语义信号只做 item-level 离线 profile：用 LLaMA 生成 item 描述 + SimCSE 抽取语义向量，避免用户级实时 LLM 调用；电商场景可离线批量构建 item 语义库，推理时只查表。
不要简单 concat 或 late fusion：LLM 语义 embedding 呈现高相似度聚类，协同 embedding 近似高斯，直接用会错位。可借鉴 CVAE 条件融合 + planar/radial flow 学习非高斯后验，把 item ID 映射到语义条件约束的潜在空间。
训练细节：推荐 loss 用全 catalog softmax，KL 只在序列 item 的随机路径上计算，全 catalog 推理走确定性路径；VAE 融合模块需要 cyclical KL annealing，避免 posterior collapse，比固定/线性/sigmoid 更稳。
冷启动/长尾收益明显：论文在 tail items 上相对最强 LLM baseline 的 NDCG@20 提升 22.88%/18.50%，说明语义条件能按语义相关度而非流行度放置尾部 item；适合商品目录长尾、新品冷启动。

RecSys | 2026-09-24 | cs.IR | score 8/10

基于归一化流的潜在推理框架 NF-CoT

🧭 潜在推理 · 归一化流 · 连续思维

University of Pennsylvania · UC San Diego · Meta

用归一化流建模连续潜在思维，保留自回归生成、精确似然与 KV 缓存，提升代码生成并降低推理成本

📌 工作参考价值（4 点）

压缩中间推理，减少 token 开销：将部分思考步骤表达为紧凑的连续向量而非文本 token，在需要长推理链的任务中可显著降低 API 调用成本或推理延迟，适合电商客服、推荐解释生成等对延迟和成本敏感的场景。
保留左到右自回归与 KV-cache 兼容性：NF-CoT 的连续思维嵌入原语言模型的因果流，不影响标准推理加速技术，可直接部署到现有 LLM 推理服务中，无需特殊工程改造。
连续空间概率建模支持策略梯度优化：提供精确的似然估计，可在连续思维空间上直接进行 RL 微调，为 agent 工具调用推理或推荐策略学习提供更细粒度的优化信号。
连续思维可蒸馏自显式 CoT：能够将繁琐的文本推理链压缩成连续表示，未来可用于压缩电商中的长对话历史或复杂推荐逻辑，作为高效上下文注入后续生成。

Reasoning | 2026-06-03 | HF Daily | score 7/10